Загружаем библиотеки¶
In [26]:
import os
import sys
import logging
import warnings
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler, MinMaxScaler
sys.path.append(os.path.dirname(os.path.abspath("../src/preprocessing.py")))
logging.basicConfig(filename='../logs/logs_file.log', level=logging.DEBUG,
format='%(asctime)s %(levelname)-8s %(message)s',
datefmt='%Y-%m-%d %H:%M:%S')
logging.getLogger("matplotlib").setLevel(logging.WARNING)
import preprocessing
from pandas_profiling import ProfileReport
logging.debug('Успешный импорт библиотек')
Вспомогательные переменные¶
In [2]:
color=sns.color_palette()
data_path = "../data/heart.csv"
report_dir = "../reports/"
warnings.filterwarnings('ignore')
%load_ext autoreload
%autoreload 2
logging.debug('Успешное объявление вспомогательных переменных')
Загружаем данные¶
Описание данных¶
- age: The person's age in years
- sex: The person's sex (1 = male, 0 = female)
- cp: The chest pain experienced (Value 1: typical angina, Value 2: atypical angina, Value 3: non-anginal pain, Value 4: asymptomatic)
- trestbps: The person's resting blood pressure (mm Hg on admission to the hospital)
- chol: The person's cholesterol measurement in mg/dl
- fbs: The person's fasting blood sugar (> 120 mg/dl, 1 = true; 0 = false)
- restecg: Resting electrocardiographic measurement (0 = normal, 1 = having ST-T wave abnormality, 2 = showing probable or definite left ventricular hypertrophy by Estes' criteria)
- thalach: The person's maximum heart rate achieved
- exang: Exercise induced angina (1 = yes; 0 = no)
- oldpeak: ST depression induced by exercise relative to rest ('ST' relates to positions on the ECG plot. See more here)
- slope: the slope of the peak exercise ST segment (Value 1: upsloping, Value 2: flat, Value 3: downsloping)
- ca: The number of major vessels (0-3)
- thal: A blood disorder called thalassemia (3 = normal; 6 = fixed defect; 7 = reversable defect)
- target: Heart disease (0 = no, 1 = yes)
In [3]:
data = pd.read_csv(data_path)
print(data.shape)
data.head()
Out[3]:
In [4]:
data.info()
In [5]:
data.describe()
Out[5]:
In [6]:
# Удаляем дубликаты
print("До удаления", data.shape)
data = data.drop_duplicates()
print("После удаления", data.shape)
logging.debug('Удаляем дубликаты')
EDA¶
In [7]:
# Создадим обзорный отчет и сохраним его в папке с отчетами
profile = ProfileReport(data, title='Отчет', explorative=True)
profile.to_file(report_dir+"Отчет по факторам.html");
logging.debug('Создаем отчет Pandas Profile')
In [8]:
profile
Out[8]:
In [9]:
logging.debug('Начинаем анализ для отчета')
Целевая переменная¶
In [10]:
fig, ax=plt.subplots(1, 2, figsize = (14,5))
sns.countplot(data=data, x='target', ax=ax[0], palette='Set1')
ax[0].set_xlabel("Кол-во болезней \n [0]->Нет [1]->Да")
ax[0].set_ylabel("Кол-во")
ax[0].set_title("Кол-во наблюдений")
data['target'].value_counts().plot.pie(explode=[0.1,0.0], autopct='%1.1f%%', ax=ax[1], shadow=True, cmap='Blues')
plt.title("Целевая переменная (болезнь сердца)");
Категориальные фичи¶
Пол¶
In [11]:
fig, ax=plt.subplots(1,2,figsize=(14,5))
sns.countplot(x='sex',data=data, hue='target', palette='Set1', ax=ax[0])
ax[0].set_xlabel("0 ->Женщины , 1 ->Мужчины")
data.sex.value_counts().plot.pie(ax=ax[1], autopct='%1.1f%%', shadow=True, explode=[0.1,0], cmap='Blues')
ax[1].set_title("0 ->Женщины , 1 ->Мужчины");
Сахар в крови¶
In [12]:
fig,ax=plt.subplots(1,2,figsize=(14,5))
sns.countplot(x='fbs',data=data,hue='target',palette='Set1', ax=ax[0])
ax[0].set_xlabel("0-> Меньше 120 , 1-> Больше 120", size=12)
data.fbs.value_counts().plot.pie(ax=ax[1],autopct='%1.1f%%',shadow=True, explode=[0.1,0], cmap='Blues')
ax[1].set_title("0 -> Меньше 120 , 1-> Больше 120", size=12);
Электрокардиограмма в покое¶
In [13]:
fig,ax=plt.subplots(1,2,figsize=(14,5))
sns.countplot(x='restecg', data=data, hue='target', palette='Set1', ax=ax[0])
ax[0].set_xlabel("Электрокардиограмма в покое",size=12)
data.restecg.value_counts().plot.pie(ax=ax[1],autopct='%1.1f%%',shadow=True, explode=[0.005,0.05,0.05],cmap='Blues')
ax[1].set_title("Электрокардиограмма в покое",size=12);
Пик нагрузки ST сегмент¶
In [14]:
fig,ax=plt.subplots(1, 2, figsize=(14,5))
sns.countplot(x='slope', data=data, hue='target', palette='Set1', ax=ax[0])
ax[0].set_xlabel("Пик нагрузки ST сегмент", size=12)
data.slope.value_counts().plot.pie(ax=ax[1], autopct='%1.1f%%', shadow=True, explode=[0.005,0.05,0.05], cmap='Blues')
ax[1].set_title("Пик нагрузки ST сегмент", size=12);
Количество крупных судов¶
In [15]:
fig,ax=plt.subplots(1, 2, figsize=(14,5))
sns.countplot(x='ca', data=data, hue='target', palette='Set1', ax=ax[0])
ax[0].set_xlabel("Количество крупных сосудов", size=12)
data.ca.value_counts().plot.pie(ax=ax[1], autopct='%1.1f%%', shadow=True, cmap='Blues')
ax[1].set_title("Количество крупных сосудов", size=12);
Грудная боль¶
In [16]:
fig,ax=plt.subplots(1, 2, figsize=(14,5))
sns.countplot(x='cp', data=data, hue='target', palette='Set1', ax=ax[0])
ax[0].set_xlabel("Грудная боль")
data.cp.value_counts().plot.pie(ax=ax[1], autopct='%1.1f%%', explode=[0.01,0.01,0.01,0.01], shadow=True, cmap='Blues')
ax[1].set_title("Грудная боль");
Непрерывные фичи¶
Артериальное давление человека в состоянии покоя¶
In [17]:
fig,ax=plt.subplots(1, 3, figsize=(14,6))
sns.boxplot(y='trestbps', data=data, x='sex', hue='target', palette='Set1', ax=ax[0])
ax[0].set_title("Давление V/S Пол")
sns.violinplot(y='trestbps', data=data, x='exang', hue='target', ax=ax[1], palette='Set1')
ax[1].set_title("Давление V/S Стенокардия")
sns.swarmplot(y='trestbps', data=data, x='ca', hue='target', ax=ax[2], palette='Set1')
ax[2].set_title("Trestbps V/S Главный сосуд");
Уровень Холестерина¶
In [18]:
fig,ax=plt.subplots(1, 3, figsize=(14,6))
sns.boxplot(y='chol', data=data, x='sex', hue='target', palette='Set1', ax=ax[0])
ax[0].set_title("Холестерин V/S Пол")
sns.boxplot(y='chol', data=data, x='cp', hue='target', ax=ax[1], palette='Set1')
ax[1].set_title("Холестерин V/S Грудная боль")
sns.swarmplot(y='chol', data=data, x='thal', hue='target', ax=ax[2], palette='Set1')
ax[2].set_title("Холестерин V/S Thal");
Депрессия ST, вызванная упражнениями по сравнению с отдыхом¶
In [19]:
fig,ax=plt.subplots(1, 3, figsize=(14,6))
sns.boxplot(y='oldpeak', data=data, x='sex', hue='target', palette='Set1',ax=ax[0])
ax[0].set_title("Депрессия V/S Пол")
sns.boxplot(y='oldpeak', data=data, x='cp', hue='target', ax=ax[1], palette='Set1')
ax[1].set_title("Депрессия V/S Грудная боль")
sns.swarmplot(y='oldpeak', data=data, x='thal',hue='target', ax=ax[2], palette='Set1')
ax[2].set_title("Депрессия V/S Thal");
Распределение фичей¶
In [20]:
fig,ax=plt.subplots(4,3,figsize=(15,15))
for i in range(12):
plt.subplot(4,3,i+1)
sns.distplot(data.iloc[:,i], kde=True, color='blue')
Корреляционная матрица¶
In [21]:
corr = data.corr()
mask = np.triu(np.ones_like(corr, dtype=bool))
f, ax = plt.subplots(figsize=(11, 9))
cmap = sns.diverging_palette(230, 20, as_cmap=True)
sns.heatmap(corr, mask=mask, cmap=cmap, vmax=.3, center=0,
square=True, linewidths=.5, cbar_kws={"shrink": .5});
Сохраним отчет в виде HTML ноубука¶
In [22]:
!jupyter nbconvert --to html EDA.ipynb
In [23]:
! mv EDA.html ../reports/
In [24]:
logging.debug('Заканчиваем отчет и сохраняем в формате html')
Препроцессинг и подготовка данных для моделирования¶
In [25]:
print("Размер до предобработки: ", data.shape)
data = preprocessing.preprocessing(data)
print("Размер после предобработки: ", data.shape)
In [ ]:
In [ ]: